Tổ tiên của Mã Vân ở trấn Cốc Lai, thành phố Thặng Châu (trước đây là huyện Thặng), tỉnh Chiết Giang, sau này cha mẹ ông chuyển đến Hàng Châu.

Mã Vân đi học ở trường tiểu học số 2 Hàng Châu Trung Bắc khi còn nhỏ (nay là trường tiểu học Trưởng Thọ Kiều).[21][22] Sau đó, ông vào học tại trường trung học Thiên Thủy ở Hàng Châu trong một thời gian ngắn.[23]

Sau khi tốt nghiệp trung học năm 1982, lần đầu dự kỳ thi Cao khảo toàn quốc chỉ đạt 1 điểm môn toán. Năm 1983, ông thi đại học lần thứ hai và trượt, chỉ đạt 19 điểm trong bài thi môn toán.[24]

Vì vậy, sau yêu cầu của cha, ông bắt đầu giao sách cho ba tạp chí Sơn Hải Kinh, Đông Hải và Giang Nam trên một chiếc xe ba bánh, và đi làm cả ngày lẫn đêm ở trường. Năm 1984, ông tham gia kỳ thi tuyển sinh đại học lần thứ 3, đạt 89 điểm môn toán và cuối cùng đỗ chuyên ngành ngoại ngữ thương mại của trường Sư phạm Hàng Châu. Tốt nghiệp Học viện Sư phạm Hàng Châu (nay là Đại học Sư phạm Hàng Châu) chuyên ngành tiếng Anh năm 1988.